Un projet de numérisation de partitions musicales
Financé par l'Agence nationale de la recherche
Reconnaissance optique des partitions
Des images de partitions ...
Les bibliothèques patrimoniales proposent un accès aux partitions sous forme d'image,comme le montre par exemple
cette partition de Camille Saint-Saëns accessible dans Gallica.
... vers des partitions éditables
La reconnaissance optique va extraire, par des méthodes d'analyses'appuyant sur l'IA, la structure et le contenu de cette image. Onobtient un objet interprété, la partition éditable.
Nos résultats
Le projet a développé une méthode innovante de reconnaissance optique, appliquée à des partitions proposées par la BnF et la la fondation Royaumont
Correction collaborative des partitions
Un problème difficile
Comme tous les processus s'appuyant sur une intelligence artificielle, les résultats doivent être soumis à validation.Les éléments en rouge ci-dessous sont fautifs.
La phase de correction collaborative
CollabScore a développé des interfaces qui soumettent les résultats 'bruts' à une communauté d'utilisateurs pour validation et correction.
Nos résultats
Nos résultats montrent une qualité élevée de reconnaissance sur les corpus traités.
- Nous utilisons la plateforme collaborative Callico de la société Teklia
- Connexion au site collaboratif (compte disponible sur demande)
Synchronisation de sources multimedia
Une partition éditable, pourquoi?
Disposer d'une partition "éditable" permet de proposer une interaction basée sur le contenu.On peut effectuer des recherches, des comparaisons ou des analyses.
Synchronisation des sources
CollabScore a mis au point des méthodes de synchronisation de sources pour permettant d'associer la notation musicaleà des sources textuelles, audio ou vidéo.
Nos résultats
Nos méthodes permettent une écoute de la partition avec surlignage synchronisé sur l'image, ainsique la synchronisation avec des sources audio ou vidéo.
Partenariat
Le Cnam
Le laboratoire Cédric du Conservatoire national des arts et métiers (Cnam) est concepteur et coordinateur du projet. Il intervient en recherche sur les méthodologies de crowdsourcing et comme maître d’œuvre pour la réalisation des composants logiciels.
La BnF
La bibliothèque numérique Gallica de la BnF contient d’importantes collections de partitions-image et gère l’environnement collaboratif, en lien avec le Cnam. Elle assure la communication auprès des communautés ciblées, le recrutement des volontaires, le suivi et l’animation de la campagne, l’évaluation des résultats
Univ. Rennes
L'équipe Shadoc de l’IRISA focalise sa thématique de recherche sur l’interprétation de documents numériques et l’interaction homme-document. Elle a créé et développé la méthode générique multi-résolution DMOS-PI pour la reconnaissance optique, incluant des mécanismes de vision perceptive et une formalisation des interactions utilisateurs.
Sorbonne Université/Irémus
L’IReMus est le laboratoire de musicologie de Sorbonne Université. L’IReMus collabore avec l’IRISA sur les aspects méthodologiques et musicologiques de la numérisation et contribue à la transcription, correction, et réconciliation des partitions en un encodage symbolique.
Royaumont
La la fondation Royaumont gère deux importantes bibliothèques musicales : la bibliothèque François Lang, constituée d’environ 3000 manuscrits et imprimés musicaux allant du XVe au XXe siècle et 5000 volumes, et la Médiathèque Musicale Mahler (Paris), centrée sur la fin du XIXe et le XXe siècle.
Univ. Lille/Algomus
L’équipe Algomus de l’Université de Lille (laboratoire CRIStAL) développe Dezrann, une plateforme libre pour écouter, étudier et annoter la musique sur le web, utilisée pour la recherche et la pédagogie. Dezrann est utilisé comme support pour les tâches de numérisation.